在线稠密强化学习训练规划-接地智能体用于真实 iOS 应用 UI 导航
🧭 UI Agent 在线强化学习训练 ★ 深度解读
Apple
用在线 RL 训练解耦的规划与接地 UI Agent，结合稠密/终局奖励与 GiGPPO，使 8B 模型在真实 iOS 任务上接近或超越 Gemini
📌 工作参考价值（5 点）
- 规划与 grounding 解耦：对话/导购 Agent 可把“策略决策”（是否推荐、是否反问、何时切换商品）与“执行层”（调用 API、生成卡片、点击元素）拆开；RL 只训练前者，后者用 SFT/规则冻结，训练成本大幅下降，线上也便于独立迭代。
- 稠密过程奖励 + 不对称折扣：用 LLM-as-a-Judge 对每一步的“业务进展”打分，但 dense 奖励要打折（如 γ=0.5），最终转化/成交奖励不打折。这能防止刷步骤分、拖时长，同时给稀疏转化提供中间信号。
- ASK USER 动作与模拟用户：在导购/搜索推荐 Agent 里显式加入“反问用户”原语，训练阶段用轻量 LLM 模拟用户偏好和回答，能提升交互式偏好澄清与个性化能力。
- critic warm-up 与高 critic lr：在 RL 训练推荐或对话策略时，先冻结策略训练 critic 15 步，再把 critic 学习率设为策略 100 倍，可避免初期优势噪声导致策略崩坏；critic 最终丢弃，不必精调。
- GiGPPO 思路可迁移到多并发 rollout 的搜索/推荐 Agent 训练：用状态相似度（如图像 hash 或 embedding）跨轨迹共享价值信号，尤其适合状态空间大、精确重复少的 GUI/会话场景。
OS-Helix：统一 GUI 交互与代码执行的计算机使用智能体
🧭 GUI 与代码统一动作空间的计算机使用智能体
University of Science and Technology of China · Shanghai AI Laboratory · National University of Singapore · Shanghai Jiao Tong University · Fudan University
端到端训练统一 GUI 动作与代码执行空间，结合 SFT 与在线 RL 将 OSWorld 成功率提升至 66.44%
📌 工作参考价值（4 点）
- 对需要同时操作 UI 与调用代码的 Agent（如电商 RPA、浏览器自动化、商家后台操作），不要靠 prompt 级工具组合，而应把 GUI 动作与代码执行放进统一 action space，通过混合数据 SFT 内化 GUI/code 路由，避免“加 code tool 反而变差”的退化。
- 用 application–artifact composition 生成带真实文件状态的可执行任务，配合 decoupled instruction/evaluator 产出可自动验证的监督数据，适合电商场景批量构建可执行的 ground-truth 与回归评估集。
- Step-balanced GSPO 按 action step 而非 token 聚合 importance weight，是处理长代码动作与短 GUI 动作异质序列的 RL 稳定技巧，可直接迁移到多步推荐、对话式操作、工具调用等 RL 训练。
- 冷启动 SFT + 在线 RL 在真实桌面环境迭代，这种“先行为克隆后环境反馈”的路线对构建生产级 Agent 可借鉴；若业务无桌面环境，可参考其可验证状态设计来构造环境反馈。
MAI-Gym：面向移动与计算机环境的 GUI Agent 评估与 RL 训练一体化开源平台
🧭 GUI Agent 在线强化学习与仿真平台
Alibaba Token Hub, Alibaba Group
开源一体化 GUI Agent 平台，统一评估/数据/在线RL，9B模型在 MobileWorld 和 OSWorld-Verified 创下 SOTA
📌 工作参考价值（4 点）
- 构建可重置的电商/导购模拟环境：借鉴其 mocked app 与 execution-validated task verifier 设计，在电商场景中搭建可重复初始化的购物、客服、售后等模拟 app，自动生成带可验证奖励的任务，低成本训练 GUI 操作型 Agent。
- 统一 rollout pipeline 保证训练与评估一致性：将环境交互、数据收集和在线 RL 训练纳入同一管线，避免训练/评估行为偏差；其 20K 并行环境实例的工程架构可直接迁移到大规模在线策略训练，如导购对话策略或推荐排序策略的仿真优化。
- 仿真 RL 到真实业务的迁移：论文显示在 mock 火车票 app 上训练后，真实手机任务成功率从 28.8% 提升到 48.1%，证明低成本仿真环境训练的模型可迁移到真实交互场景，适合作为电商 App 操作、订单流程等任务的试错沙盒。
- 直接复用开源任务与合成技能：发布的 2,000 个验证任务和自动化合成技能可作为电商/广告领域 GUI Agent 数据集的冷启动模板，结合自身业务 UI 快速生成带 verifier 的训练任务。
Qwen-UI-Agent：面向真实世界的基础 GUI 代理技术报告
🧭 GUI Agent 基础模型与训练
Alibaba Group
统一移动/电脑/网页的 GUI 代理，结合真实设备环境与数据飞轮，实现多平台 SOTA 性能。
📌 工作参考价值（4 点）
- 统一动作空间设计：将 GUI 操作与 CLI 命令交错批处理，可借鉴用于电商 Agent 在网页/App 上执行多步推荐、广告投放任务，减少推理轮次。
- 自动化数据飞轮：用 Agent 自身构造任务、诊断失败并迭代，能显著降低人工标注成本，适合为电商搜索推荐 Agent 持续生成训练数据。
- 大规模在线 RL 训练：支持 100+ 步长轨迹训练，利用 10,000+ 并发环境加速，可迁移至电商多轮对话或流程自动化 Agent 的训练。
- 主动服务与跨平台状态保持：轻量 harness 层允许 Agent 主动发起推送或跨设备续接任务，类似电商场景中的主动推荐、缺货提醒或跨端购物车同步。
通用偏好强化学习
🧭 多维偏好在线RL · 抗reward hacking ★ 深度解读
Stanford University · The University of Oklahoma · Independent Researcher
用多维度偏好嵌入与漂移控制实现在线RL的开放任务对齐，无需标量奖励
📌 工作参考价值（4 点）
- 在推荐系统的多目标优化（如点击率、转化率、多样性）中，可借鉴GPM的k个子空间独立建模不同指标，采用per-dimension组相对优势归一化，防止单一指标主导梯度，避免信息茧房或过度商业化。
- 漂移监控器可复用到多任务RL：跟踪各目标方差份额，当某维度过度集中时自动降低其权重并收紧策略约束（如KL惩罚），实现动态平衡，无需外部验证信号。
- 向量化的奖励结构能天然抑制单轴投机：只有在所有维度共同改善时优势才增加，这一性质可直接应用于拒止推荐策略的“作弊”行为。
- 工程上，GPRL直接替换现有GRPO管线，仅需冻结一个偏好模型提供多维分数，计算开销与标量RM相当，适合大规模在线学习场景。